Spark Streaming

Spark Streaming容错的改进和零数据丢失

实时流处理系统必须要能在247时间内工作,因此它需要具备从各种系统故障中恢复过来的能力。最开始,SparkStreaming就支持从driver和worker故障恢复的能力。这篇文章谈及SparkStreaming容错的改进和零数据丢失的实现。...

Spark Streaming:大规模流式数据处理的新贵

SparkStreaming是大规模流式数据处理的新贵,将流式计算分解成一系列短小的批处理作业。这篇文章阐释了SparkStreaming的架构及编程模型,并结合实践对其核心技术进行了深入的剖析,给出了具体的应用场景及优化方案。...